Quân Xích Mi làm chủ Trường An, lực lượng quân Xích Mi và số đông tướng sĩ là nông dân thuần phác, bị lực lượng địa chủ rất thù địch[1], đóng kín cửa không nghênh đón và cấp lương. Vì vậy sau một thời gian ngắn, quân Xích Mi bị thiếu lương trầm trọng.

Sang năm 26, Lưu Bồn Tử cùng quân Xích Mi phải dời Trường An dời đến An Định[2] và Bắc Địa[3] tìm lương. Sau đó quân Xích Mi đụng độ với các lực lượng quân phiệt Quỳ Ngao và quân của Hán Quang Vũ Đế, giằng co ở Trường An.

Sang năm 27, Lưu Bồn Tử và quân Xích Mi mỏi mệt sau nhiều trận giao chiến và di chuyển đường xa, lương thực lại hết, cùng đường không thể chống cự lại được quân Hán Quang Vũ Đế. Vua Kiến Thế Đế cùng Phàn Sùng đành mang 10 vạn quân ra hàng Lưu Tú. Lưu Tú cho hàng, tha tất cả không giết.